Компания Goodram Industrial, принадлежащая Wilk Elektronik SA, без громких анонсов представила свой первый SSD вместимостью 122,88 Тбайт, предназначенный для использования в системах с иммерсионным (погружным) жидкостным охлаждением. Устройство рассчитано на дата-центры и площадки гиперскейлеров. Накопитель относится к семейству DC25F. В его основу положены чипы флеш-памяти QLC NAND.

Доступны модификации в форм-факторах E3.S и E3.L: в обоих случаях для подключения служит интерфейс PCIe 5.0 x4. Заявленная скорость последовательного чтения информации достигает 14 600 Мбайт/с, скорость последовательной записи — 3200 Мбайт/с. Показатель IOPS составляет до 3 млн при произвольном чтении данных 4K-блоками и до 35 тыс. при произвольной записи. Накопители способны выдерживать 0,3 полных перезаписи в сутки (0,3 DWPD) на протяжении пяти лет. Это ставит их в один ряд с другими QLC-устройствами корпоративного класса, предназначенными для «теплого» и «холодного» хранения данных.

Источник изображения: Goodram

Goodram отмечает, что накопители прошли всестороннее тестирование с использованием различных диэлектрических жидкостей для иммерсионного охлаждения, включая составы Shell и Chevron. Утверждается, что эти SSD рассчитаны на длительную эксплуатацию без деградации.

Помимо модели вместимостью 122,88 Тбайт, Goodram предлагает широкий выбор других SSD для систем с иммерсионным охлаждением. Это устройства ёмкостью от 1,92 Тбайт и выше на основе чипов TLC NAND и QLC NAND с интерфейсами SATA, PCIe 4.0 и PCIe 5.0. Они доступны в форм-факторах SFF U.2 и U.3, E3.S и E1.S, M.2 2280 и M.2 22110.

Vertiv объявила о выпуске системы погружного охлаждения CoolCenter Immersion. Иммерсионная СЖО обеспечивает поддерживает отвод от 25 кВт до 240 кВт на модуль ёмкостью 24U до 52U, обеспечивая при этом PUE на уровне 1,08. По словам компания, иммерсионное охлаждение играет всё более важную роль из-за повсеместного внедрения HPC- и ИИ-платформ.

В Vertiv CoolCenter Immersion применяется многолетний опыт, полученный Vertiv в сфере СЖО для создания спроектированных «под ключ» систем, безопасно и эффективно справляющихся с высокоплотными системами. Операторы ЦОД смогут практично масштабировать ИИ-инфраструктуру без ущерба надёжности и удобству обслуживания.

Источник изображения: Vertiv

Каждая система включает внутренний или внешний резервуар для теплоносителя, блок распределения жидкости (CDU), датчики температуры, а также насосы с регулируемой скоростью работы и трубки. Модуль включает два источника питания и резервные насосы, а также встроенные датчики мониторинга состояния и 9″ сенсорный дисплей. Предусмотрена возможность подключения к системе управления зданием (BMS). Тепло отводится через пластинчатый теплообменник во внешний водяной контур.

Vertiv уже заключила контракт с Digital Realty в Италии на поставку электроэнергии и систем охлаждения для римского объекта Digital ROM1 мощностью 3 МВт. Запуск ЦОД запланирован на 2027 год. На объекте будет использоваться фрикулинг и система охлаждения, готовая к ИИ-нагрузкам, передаёт DataCenter Dynamics. Сделка стала ещё одной в череде европейских проектов Digital Realty в Париже, Мадриде, Амстердаме и др.

Источник изображения: Vertiv

В Digital Realty подчеркнули, что Рим становится важнейшим шлюзом для цифровой инфраструктуры между Европой и Средиземноморским регионом. Передовые технологии для ROM1 помогут стать дата-центру стратегическим ИИ-хабом, задающим новые стандарты энергоэффективности и производительности в сфере HPC. Также Vertiv работает с Nextra в Африке и намерена сотрудничать с Ezditek для создания ЦОД в Саудовской Аравии.

Ранее сообщалось, что нежелание NVIDIA сертифицировать иммерсионные СЖО во многом тормозит их развитие. Прямое жидкостное охлаждение (DLC) менее эффективно, чем иммерсионные системы, но NVIDIA всё ещё считает, что пока достаточно этого. Впрочем, эксперты прогнозируют, что настоящий расцвет технологии придётся на 2027–2028 гг. Ожидается, что она будут активно распространяться после выхода ускорителей NVIDIA Rubin Ultra.

Китайская компания Sugon (Dawning Information Industry), специализирующаяся на разработке суперкомпьютеров, серверов и СХД, представила ИИ-систему ScaleX640. Это, как утверждается, первое в мире решение в виде одной стойки, допускающее использование до 640 ускорителей.

Источник изображения: Sugon

Суперускоритель выполнен на «сверхскоростной ортогональной архитектуре». Используются вычислительные узлы высокой плотности, которые допускают установку ИИ-карт различных производителей. Говорится о совместимости с существующей экосистемой ПО для задач ИИ.

Платформа ScaleX640 предусматривает применение иммерсионного жидкостного охлаждения с фазовым переходом и высоковольтных источников питания постоянного тока (DC). СЖО способна отвести до 1,72 МВт. По заявлениям Sugon, по плотности вычислений новинка до 20 раз превосходит другие суперузлы, доступные на рынке. При этом обеспечивается высокий показатель эффективности использования электроэнергии (PUE) — 1,04.

Источник изображения: Sugon

Два суперузла ScaleX640 могут формировать вычислительный блок с поддержкой 1280 ускорителей ИИ. Стойки соединяются между собой посредством высокоскоростной сети. В целом, возможно развёртывание кластеров, насчитывающих до 100 тыс. ИИ-карт. Sugon утверждает, что по сравнению с традиционными платформами новая система обеспечивает повышение производительности на 30–40 % в сценариях обучения больших языковых моделей (LLM) с триллионами параметров и инференса. Проведённое всестороннее тестирование ScaleX640 говорит о высокой надёжности и стабильности работы комплекса.

Британская UK Power Networks (UKPN) в рамках программы SHIELD (Smart Heat and Intelligent Energy in Low-income Districts) начала устанавливать микро-ЦОД на базе одноплатных компьютеров Raspberry Pi — для отопления домохозяйств, нуждающихся в деньгах для оплаты коммунальных услуг, сообщает The Register.

Выбранные домохозяйства оснастят солнечными элементами питания и аккумуляторными системами, треть из них получит и систему HeatHub — сверхкомпактный ЦОД размером с большой тепловой насос, который заменит традиционные газовые котлы. Полученные в рамках пробного развёртывания данные используют для масштабирования SHIELD, к 2030 году UKPN намерена ежегодно развёртывать 100 тыс. систем.

Платформа HeatHub разработана компанией Thermify. Она предназначена для запуска облачных контейнеризированных нагрузок. Каждый HeatHub включает до 500 модулей Raspberry Pi CM4 или CM5, погружённых в масло. Полученное тепло передаётся в системы отопления и горячего водоснабжения, а сам HeatHub легко установить вместо бойлера. HeatHub имеет собственное выделенное интернет-подключение.

Над внедрением «низкоуглеродных» технологий SHIELD компания UKPN сотрудничает с Power Circle Projects, жилищной ассоциацией Eastlight Community Homes и Essex Community Energy. Также она участвует над установлением нового социального тарифа на отопление на востоке и юго-востоке Англии. Малоимущие клиенты будут платить фиксированную ставку в £5,60 ($7,52) ежемесячно, а SHIELD поможет им сократить счета за электричество на 20–40 %.

Источник изображения: Thermify

Куратор SHIELD со стороны Eastlight Community Homes заявил, что результаты пилотного проекта обнадёживают, его планируют опробовать ещё в сотнях домов. Это поможет семьям поддерживать комфортные условия проживания, не беспокоясь о росте цен на энергию. Для обычных пользователей у Thermify иные условия — модуль для типового дома с тремя спальнями обойдётся в £2500 ($3365), ещё £500 ($673) возьмут за установку, а за отопление будут брать £50/мес. ($67/мес.). В особых случаях плата может быть снижена вдвое, а в экстремальных ситуациях тепло будет предоставляться бесплатно.

Это уже не первый проект подобного рода. Так, Heata — изначально принадлежавшая British Gas, предлагает использовать серверы в качестве домашних водонагревателей, что позволяет сократить расходы на электричество для домовладельцев. Тепло вырабатывается за счёт рабочих нагрузок облачного оператора Civo. Также пару лет назад начала работать британская Deep Green — она обеспечивает теплом предприятия и бассейны с помощью мини-ЦОД, размещаемых на их территории.

Эксперименты с иммерсионным охлаждением для мейнфреймов и суперкомпьютеров начали проводиться ещё в 1970-х годах прошлого века, но массовой технология так и не стала из-за высокой стоимости и сложности обслуживания. Примечательно, что сегодня, когда чипы становятся всё более горячими, главным препятствием на пути коммерческого внедрения иммерсионных технологий стала NVIDIA, передаёт ZDNet Korea со ссылкой на источники в индустрии.

Возрождение интереса к технологии началось в конце 2000-х гг., когда всерьёз встала проблема повышения энергоэффективности дата-центров. С середины 2010-х крупные облачные компании вроде Microsoft, Google и Alibaba начали эксперименты с двухфазным иммерсионным охлаждением, однако рынок таких систем до сих пор находится в зачаточном состоянии.

NVIDIA же «виновата» тем, что не сертифицирует подобные системы. Как заявил один из отраслевых инсайдеров, компания не даёт никаких гарантий при использовании иммерсионных систем со своими ускорителями, поскольку неизвестно, какие проблемы могут возникнуть в долгосрочной перспективе. Прямое жидкостное охлаждение (DLC) менее эффективно, чем иммерсионные системы, но NVIDIA всё ещё считает, что пока достаточно и этого.

Источник изображения: NVIDIA

Влияние на отсутствие повсеместного внедрения иммерсионного охлаждения, вероятно, оказали и экономические причины. Погружные СЖО требуют специальной инфраструктуры, поэтому внедрить их в уже действующие ЦОД с традиционным воздушным охлаждением трудно. При этом системы прямого жидкостного охлаждения (DLC) успешно сочетаются с воздушными системами на базе уже имеющейся инфраструктуры.

Эксперты прогнозируют, что настоящий расцвет рынка иммерсионного охлаждения придётся на 2027–2028 гг. Ожидается, что оно будет активно распространяться после выхода ускорителей NVIDIA Rubin Ultra. Так, стойка Rubin Ultra NVL576 будет потреблять 600 кВт, а Google, OCP и Schneider Electric уже проектируют стойки мегаваттного класса. Следующее поколение чипов будет обладать настолько интенсивным тепловыделением, что охладить с помощью привычных СЖО уже не получится, говорит один из инсайдеров. По слухам, NVIDIA активно нанимает специалистов, связанных с иммерсионным охлаждением.

Источники свидетельствуют, что в будущем у операторов ЦОД якобы просто не останется выбора. Однако Intel, ZutaCore, CoolIT, Accelsius и др. уже представили водоблоки для чипов с TDP от 1 кВт до 4,5 кВт, так что DLС ещё долго будут сохранять актуальность.

Компания Microsoft запустила для корпоративных пользователей в тестовом режиме ИИ-платформу Microsoft Discovery, использующую ИИ-агентов и HPC для помощи учёным, которым не придётся самостоятельно писать код для своих исследований. Потенциал системы продемонстрировали на примере самой Microsoft — ИИ помог создать новейшую жидкость для погружного охлаждения всего за 200 часов вместо нескольких месяцев или даже лет, сообщает VentureBeat.

Microsoft Discovery использовали для поиска охлаждающей жидкости без «вечных» PFAS-химикатов, часто применяемых в иммерсионных СЖО. Регуляторы во всём мире всё чаще запрещают производство и использование этого класса вещества. ИИ Microsoft проверил 367 тыс. веществ-кандидатов, после чего химикат синтезировал один из партнёров компании. Однако сфера применения такого ИИ простирается далеко за пределы создания охлаждающих жидкостей — новые материалы и химикаты требуются в самых разных сферах, но на их поиск часто уходят годы.

Microsoft Discovery позволяет взаимодействовать с «невероятными возможностями» ИИ, используя естественный язык, что полностью меняет весь процесс исследований, говорит компания. Обычно учёным приходилось изучать программирование для того, чтобы создавать вычислительные инструменты. Такая демократизация науки сыграет на руку малым исследовательским группам, у которых нет ресурсов на изучение программирования или привлечения сторонних специалистов в этой сфере. Более того, со временем платформа научится работать и с квантовыми компьютерами, написание кода для которых — ещё более сложная задача.

Источник изображения: National Cancer Institute/unsplash.com

Работа выполняется с помощью специальных ИИ-агентов, специально обученных для выполнения отдельных научных задач — от написания литературного обзора до создания компьютерной симуляции. По словам Microsoft, ИИ-агенты — это чуть ли не целая команда учёных с докторскими степенями в различных науках. Платформа интегрирует друг с другом базовые модели, занимающиеся общим планированием, и модели, специализирующиеся на физике, химии или, например, биологии.

Также Microsoft Discovery позволяет комбинировать закрытые исследовательские данные и результаты уже опубликованных научных исследований по разным дисциплинам, сохраняя прозрачность моделей и контролируя процесс «рассуждений». Для работы с платформой используется интерфейс Copilot, который занимается оркестрацией агентов. Одновременно интерфейс служит и центральным хабом, в котором учёные управляют своей виртуальной ИИ-командой.

Источник изображения: National Cancer Institute/unsplash.com

В платформу встроены защитные механизмы — системе заданы «этические координаты». Также применяется модерация контента с проактивным подходом к выявлению злоупотреблений возможностями платформы — маркируются потенциально вредоносные алгоритмы и действия, поскольку все ИИ-инструменты фактически имеют «двойное назначение». С их помощью можно изобретать не только лекарства, но и опасные биологически опасные субстанции.

Для своей платформы Microsoft выстраивает экосистему с участием представителей самых разных отраслей, от фармацевтики (GSK) до индустрии красоты (Estée Lauder). NVIDIA интегрирует с Discover микросервисы ALCHEMI и BioNeMo NIM для биотехнологий и фармацевтики. В полупроводниковой сфере Microsoft планирует интеграцию решений Synopsys для ускорения разработки чипов. Адаптацией под конкретные отраслевые задачи, развёртыванием и масштабированием платформы займутся Accenture и Capgemini.

Источник изображения: Microsoft

Успех Microsoft Discovery будет зависеть от того, насколько эффективно систему смогут интегрировать в текущие научные процессы — многие учёные скептически относятся к новым методикам, так что компании придётся показать всё, на что способен ИИ. По словам Microsoft, будущее науки именно за сочетанием умственных возможностей человека и масштабного ИИ. Microsoft уже провела предварительную демонстрацию Discovery для ограниченного круга структур. Цены на платформу пока не названы, но доступ к к ней будет организован посредством Azure.

Поскольку внедрение ИИ и HPC увеличивает потребность операторов ЦОД в мощной инфраструктуре, необходимы и более экоустойчивые, эффективные и масштабируемые решения для охлаждения оборудования. Компания Intel совместно с Shell Global Solutions предложили сертифицированное комплексное решение для иммерсионного охлаждения серверов с процессорами Intel Xeon Emerald Rapids или Sapphire Rapids, сообщает пресс-служба Intel.

По информации Dell’Oro Group, системы жидкостного охлаждения становятся всё популярнее и к 2028 году на них будет приходиться 36 % выручки от общих продаж систем терморегуляции дата-центров. Однако внедрение высокоэффективного погружного охлаждения до недавнего времени тормозилось из-за отсутствия сертифицированных, прошедших проверки и готовых к развёртыванию продуктов.

Intel и Shel провели валидацию полной системы иммерсионного охлаждения для ЦОД на основе оборудования Supermicro и Submer. Решение Intel Data Center Certified for Immersion Cooling называется первым в своём роде и задаёт новый отраслевой стандарт по эффективности и надёжности в долгосрочной перспективе. Масштабное тестирование и строгая валидация в лабораториях Intel позволяет операторам ЦОД внедрять проверенную инфраструктуру, будучи уверенными в её готовности к современным рабочим нагрузкам ИИ и HPC, говорится в пресс-релизе.

Источник изображения: Intel

В рамках процесса сертификации Intel предлагает дополнительную гарантию на использование процессоров Xeon с однофазным иммерсионным охлаждением Xeon Processor Single-Phase Immersion Warranty Rider, подтверждающей надёжность и эффективность инфраструктуры, а также её совместимость с охлаждающими жидкостями Shell. Дополнительно исследуется возможность будущего сотрудничества для сертификации новейших поколений процессоров компании с жидкостями Shell.

Источник изображения: Intel

Как заявил представитель Intel, по мере роста потребностей ЦОД, сертифицированные Intel решения для погружного охлаждения станут играть ключевую роль в обеспечении работы энергоэффективной и масштабируемой вычислительной инфраструктуры — ЦОД получили доступ к проверенным, готовым к внедрению технологиям охлаждения.

Другими словами, операторы ЦОД смогут получить доступ к решениям с повышенной производительностью, минуя этап пилотного проекта — можно сразу переходить к внедрению предварительно проверенных вариантов с высокой энергоэффективностью и малым воздействием на окружающую среду. При этом такие решения обеспечены первыми в отрасли сертификатами и гарантиями Intel.

Исследователи Microsoft опубликовали результаты анализа энергопотребления, затрат воды и выбросов дата-центров на протяжении их жизненного цикла. Учитывались даже выбросы в инфраструктурной цепочке поставок ЦОД и возможная утилизация объектов, сообщает Datacenter Dynamics.

Как заявляют в Microsoft, проведение оценки жизненного цикла ЦОД (Life Cycle Assessment, LCA) важно ещё на ранних этапах проектирования. Применение инструментов LCA способствует принятию более обоснованных инженерных решений с учётом совокупной стоимости владения, производительности, экоустойчивости и др. Компания предлагает отрасли использовать её LCA-инструментарий при постройке новых ЦОД.

В рамках своего исследования Microsoft два года изучала четыре технологии охлаждения: фрикулинг, прямое жидкостное охлаждение (DLC), однофазная и двухфазная иммерсионные СЖО. Правда, основной акцент делался на изучение систем охлаждения для CPU, а не ИИ-ускорителей.

Источник изображений: Microsoft/Nature

Исследование показало, что использование водоблоков и погружного охлаждения позволяет сократить выбросы парниковых газов на 15–21 %, потребление электричества на 15–20 % и воды — на 31–52 % в течение всего жизненного цикла ЦОД — в сравнении с традиционными воздушными системами охлаждения.

Основной вывод — многообещающей технологией является двухфазное иммерсионное охлаждение, способное снизить воздействие на окружающую среду по всем параметрам. Однако такие системы пока применяют PFAS-химикаты, которые с переменным успехом вытесняют регуляторы Евросоюза и США. Другими словами, в будущем использование таких СЖО могут ограничить. Кроме того, сама Microsoft изучает, но внедряет подобные системы в своих ЦОД ограниченно. Также отмечается, что DLC может быть не менее эффективным, чем погружные системы обоих типов.

Дополнительно в статье дана количественная оценка экономии электричества и воды, а также сокращения выбросов при переходе от типичной системы энергоснабжения к 100 % применению возобновляемых источников энергии. Установлено, что выбросы парниковых газов, например, можно сократить на 50–90 % вне зависимости от того, какие применяются технологии охлаждения.

ИИ-облако AI Green Bytes строит в Париже дата-центр с иммерсионной системой охлаждения, основным отличием которой от обычных решений будет применение охлаждающей жидкости Oleon Qloe растительного происхождения, сообщает Datacenter Dynamics. В AI Green Bytes подчёркивают, что жидкость Qloe — передовая разработка для экоустойчивых ИИ-вычислений. Новый объект обеспечит «непревзойдённую эффективность» с минимальным воздействием на окружающую среду.

ЦОД должен открыться в июне 2025 года, это будет первый объект AI Green Bytes с иммерсионной системой охлаждения. Каждая ёмкость способна охлаждать IT-оборудование мощностью 361 кВт. Общая мощность объекта не разглашается. Ранее компания представила концепцию модульного ЦОД AI Green Qube площадью 400 м², способного вместить 3,5 тыс. ИИ-ускорителей. Правда, компания не уточняет, основан ли парижский объект на том же самом дизайне.

ИИ-стартапа AI Green Bytes был основан в Норвегии 2024 году. Oleon же является подразделением французской компании Avril, специализирующимся на разработке «зелёных» химикатов. Жидкость Qloe, по словам компании, полностью биоразлагаема и нетоксична, но при этом обеспечивает высококачественное охлаждение.

Источник изображения: Submer

В 2022 году американская продовольственная компания Cargill представила собственную жидкость растительного происхождения для иммерсионных СЖО — NatureCool 2000. Эта жидкость, на 90 % состоящая из масел растительного происхождения, тоже является безопасной и биоразлагаемой. Синтетическая жидкость Synmerse DC от Perstorp (дочернее предприятие Petronas) также заявлена как биоразлагаемая. О её составе разработчик ничего говорит, сообщая лишь, что она не содержит PFAS-химикатов.

Компании Chemours, NTT Data и Hibiya Engineering объявили об объединении усилий с целью полномасштабных испытаний системы двухфазного иммерсионного (погружного) охлаждения для дата-центров. Речь идёт, в частности, об использовании специальной жидкости Chemours Opteon 2P50.

Партнёры отмечают, что сектор ЦОД быстро развивается на фоне активного внедрения ИИ и НРС. Однако существует значительный разрыв между ростом энергопотребления таких объектов и повышением эффективности систем охлаждения. Сотрудничество Chemours, NTT Data и Hibiya Engineering направлено на исследование технологий охлаждения следующего поколения, которые обеспечат повышение эффективности и устойчивости дата-центров при увеличении их мощности.

Источник изображения: Chemours

Проект ориентирован на тестирование Opteon 2P50 с целью последующей коммерциализации. Эта запатентованная диэлектрическая жидкость разработана специально для двухфазного иммерсионного охлаждения. Жидкость выполнена на основе гидрофторолефина (HFO) с нулевым озоноразрушающим потенциалом (ODP). Коэффициент GWP (потенциал глобального потепления), определяющий степень воздействия различных парниковых газов на глобальное потепление, равен 10 (AR6).

По заявлениям разработчика, жидкость Opteon 2P50 позволяет снизить энергозатраты ЦОД на охлаждение до 90 % и уменьшить общее энергопотребление дата-центров на 40 %. Кроме того, в большинстве климатических зон Opteon 2P50 даёт возможность практически полностью исключить использование воды, а также значительно уменьшить шумовое загрязнение внутри помещений. Физическая площадь ЦОД может быть сокращена на 60 %. Плюс к этому жидкость может повторно использоваться неограниченное количество раз.

В испытаниях системы двухфазного иммерсионного охлаждения на основе Opteon 2P50 примут участие различные заинтересованные стороны — от операторов дата-центров, производителей оборудования и проектно-конструкторских фирм до поставщиков ИТ-услуг и научно-исследовательских институтов.